Análisis espacial de calificaciones obtenidas durante la pandemia por estudiantes de primer año
Clemente Ferrer
23 de Enero del 2023
Este informe presenta una investigación sobre el impacto de la pandemia de COVID-19 en el rendimiento académico de estudiantes de primer año. Se utilizaron técnicas espaciales para examinar las calificaciones obtenidas durante los años 2017, 2018, 2020, 2021 y 2021, donde la principal contribución corresponde a la aplicación de un modelo bayesiano multivariado condicionalmente autorregresivo (MCAR) para explicar y predecir las calificaciones a partir de ́ındices de pobreza, desarrollo comunal, cantidad de colegios particulares y promedio PSU por comuna. Este enfoque nos permitió contrastar ajustes de modelos clásicos que no consideran la componente espacial y modelos areales que poseen dependencia de vecinos contiguos. Los métodos anteriores fueron aplicados en las regiones de Valparaíso y Metropolitana al existir mayor cantidad de estudiantes en estas zonas. Los resultados muestran como las calificaciones no se correlacionan con las covariables propuestas, a diferencia de años previos a la pandemia.
Introducción
El rendimiento de los estudiantes universitarios ha sido siempre un tema de interés para las universidades. Para la Universidad Técnica Federico Santa María lo ha sido particularmente con sus alumnos de primer año, puesto que históricamente han tenido una alta tasa de reprobación en ramos del ciclo básico de ingeniería (Del Rio 2018). Sin embargo, la pandemia de COVID19 provocó resultados nunca antes vistos en la universidad a lo largo de todas las carreras, sin importar el año de ingreso. Esto motivó en primer lugar el análisis a realizar, donde buscaremos explicar y predecir las calificaciones de primer año.
Para esto, visualizaremos los datos mediante herramientas clásicas del análisis descriptivo, para luego verificar como se distribuyen los promedios de notas de las principales asignaturas a lo largo de las regiones de Chile.
Enseguida se presentará una introducción a la estadística espacial, donde se revisarán conceptos de autocorrelación espacial y modelos de área. Esto se ejemplificará a través del índice de Morán y los modelos condicionalmente autoregresivos, CAR.
En lo que sigue, y en honor a la poca cantidad de datos para realizar un análisis de caracter nacional, nos centraremos en la región de Valparaíso y sus comunas. Aplicaremos los conceptos revisados anteriormente usando como variables explicativas ́ındices de pobreza, desarrollo comunal, cantidad de colegios particulares, promedio PSU por comuna y compararemos los modelos CAR para los casos univariados y multivariados con métodos clásicos de Machine Learning. Para discernir el rendimiento de estos se utilizará el criterio de información bayesiano, BIC.
Finalmente, se presentarán los resultados y las conclusiones obtenidas del análisis.
Análisis exploratorio de datos
La base de datos contiene información de las calificaciones obtenidas durante los años 2020 y 2021 por todos los estudiantes de campus y sedes de la universidad resumida de la siguiente manera:
2017-1
2017-2
Acá se puede escribir:
2018-1
Acá se puede escribir:
2018-2
Acá se puede escribir:
2020-1
Acá se puede escribir:
2020-2
2021-1
2021-2
2022-1
2022-2
Para realizar el análisis descriptivo, se modificó la base de datos de la siguiente manera:
Se escogieron solo estudiantes de primer año de 2020 y 2021.
Fueron seleccionadas las asignaturas de FIS100, FIS110, MAT021, MAT022, IWI131, QUI010 y IWG101.
Se filtró por estudianes que tuvieran su ESTADO NOTA como aprobada o reprobada.
Se elimaron columnas que no fueran de interés y fue resumida la información de cada estudiante en una sola observación.
La base de datos modificada se presenta a continuación
2017-1
2017-2
2018-1
2018-2
2020-1
2020-2
2021-1
2021-2
2022-1
2022-2
El número de estudiantes provenientes de cada región se presenta en las siguientes figuras
2017
2018
2020
2021
2022
Podemos observar que en ambos años la mayoría de estudiantes proviene de la región de Valparaíso y Metropolitana, mientras que la región de Aysén posee la menor tasa de ingreso. Ahora bien, continuando con el análisis, los siguientes Donut Plot nos permiten visualizar la tasa de aprobación por semestre de los ramos clásicos de primer año académico.
2020-1
2020-2
2021-1
2021-2
En base a los gráficos anteriores podemos rescatar las siguientes conclusiones:
La tasa de reprobación durante los primeros semestres en todos los ramos es baja.
Durante el año 2020 se obtuvieron, en general, mejores rendimientos que el 2021.
FIS110, MAT022 y QUI010 se adjudicaron la “mayor” tasa de reprobación.
IWG101 fue la asignatura con mejor rendimiento durante los periodos analizados.
Los semestres pares tuvieron altas tasas de reprobación en asignaturas propias de primer semestre según malla académica.
Enseguida, una pregunta interesante a responder es: ¿Cómo se visualizan las notas anteriores geograficamente? Para ello utilizamos el mapa de Chile extraído de Global Administrative Areas (2012) seccionado por regiones. Luego, se obtienen las siguientes figuras
2020-1
2020-2
2021-1
2021-2
De lo anterior, podemos desprender conclusiones que antes no poseíamos:
La gran mayoría de regiones aprobó con notas superiores a 70 en promedio.
La zona norte de Chile obtuvo los rendimientos, en promedio, más descendidos.
Las regiones provenientes de la zona sur de Chile obtuvieron los rendimientos más altos.
La asignatura que, en promedio, tuvo los rendimientos más bajos fueron QUI010 y FIS110.
Autocorrelación espacial: Índice de Moran
Dadas las observaciones \(Y_1,\ldots,Y_n\) asociadas a una secuencia espacial , Moran (1950) propuso el siguiente estadístico para medir la presencia de autocorrelación de una secuencia espacial
\[I=\frac{n \sum_i \sum_j w_{i j}\left(Y_i-\bar{Y}\right)\left(Y_j-\bar{Y}\right)}{\left(\sum_{i \neq j} w_{i j}\right) \sum_i\left(Y_i-\bar{Y}\right)^2}\] donde \(w_{ij}\) son pesos espaciales entre los sitios y \(\bar{Y}\) denota el promedio de las observaciones. Bajo normalidad y asumiendo media constante del proceso, se tiene que \(\mathbb{E}[I]=-\frac{1}{n-1}\). En la práctica, se considera que
Si \(I>\mathbb{E}[I]\), entonces un sitio tiende a conectarse a los sitios que tiene similares atributos. La correlación espacial es positiva y aumenta a medida que el valor \(|I-\mathbb{E}[I]|\) lo hace.
Si \(I<\mathbb{E}[I]\), los valores de sitios conectados a un sitio en particular tienden a ser disimiles o diferentes.
Modelos CAR univariados y multivariados
Un modelo CAR (Conditional Autoregressive) es un tipo de modelo estadístico utilizado para analizar datos espaciales. Se usa frecuentemente para modelar la relación entre las observaciones de una variable en diferentes lugares geográficos. El modelo asume que la variable en cada punto está relacionada con las variables en los puntos vecinos, y se utiliza para generar predicciones para puntos sin datos. A pesar de que hayan sido introducidos hace décadas atras por Besag (1974). Han tomado mayor relevancia por su aplicación en temas ingenieriles y médicos.
Para el caso Gaussiano, dadas las componentes espacial \(\{\mathbf{s}_i\}_{i=1}^n\), asociamos un efecto espacial latente \(\{\phi(\mathbf{s}_i)\}_{i=1}^n\). El modelo CAR se formula a partir de sus distribuciones full condicionadas como
\[\phi_i \mid \phi_j, j \neq i \sim N\left(\sum_{j=1}^{n} c_{ij}y_j, \sigma_i^2\right).\] donde \(\sigma_i\) es un parámetro de covarianza espacial y \(\mathbf{C}=\{c_{ij}\}\) es una matriz \(n\times n\) asociada con las componentes espaciales.
Si definimos \(\mathbf{M}=\text{diag}(\sigma_1^2,\ldots,\sigma_n^2)\). Bajo la condición de simetría de \(\mathbf{M}^{-1}\mathbf{C}\) y que \(\mathbf{M}^{-1}(\mathbf{I}_n-\mathbf{C})\) sea definida positiva (Cressie 1993), la distribución conjunta de \(\boldsymbol{\phi}\) está bien definida como
\[\boldsymbol{\phi}\sim N(\mathbf{0},\mathbf{\Sigma}_{\text{CAR}})\] donde \(\mathbf{\Sigma}_{\text{CAR}}=(\mathbf{I}_n-\mathbf{C})^{-1}\mathbf{M}\).
Usualmente, es considerado que \(\mathbf{C}=\rho\mathbf{W}\) y \(\mathbf{M}=\sigma^2\mathbf{I}_n\), donde \(\boldsymbol{W}\) es una matriz de pesos espaciales, \(\rho\) es un parámetro de suavizamiento y \(\mathbf{\Sigma}_{\text{CAR}}=\sigma^2\left(\mathbf{I}_n-\rho \mathbf{W}\right)^{-1}\) si \(\mathbf{W}\) es simétrica. Más aún, si \(\mathbf{W}\) es además estandariza por fila, \(\mathbf{\Sigma}_{\text{CAR}}=\sigma^2(\mathbf{D}-\rho \mathbf{W})^{-1}\), donde \(\mathbf{D}=\text{diag}(\mathbf{W}_{1+},\ldots,\mathbf{W}_{n+})\) y \(\mathbf{W}_{i+}\) es la suma de los elementos de la \(i\)-ésima fila de la matriz \(\mathbf{W}\) para cada \(i=1,\ldots,n\).
Banerjee, Carlin, y Gelfand (2003) extendieron el modelo anterior a uno full condicionado considerando \(\boldsymbol{\phi}^{\top}=(\boldsymbol{\phi}_1,\ldots,\boldsymbol{\phi}_n)\), donde cada \(\boldsymbol{\phi}_i=(\phi_{i1},\ldots,\phi_{ip})^{\top}\in\mathbb{R}^{p}\). Así, la distribución conjunta está definida como
\[\boldsymbol{\phi}\sim N(\mathbf{0},\mathbf{\Sigma}_{\text{MCAR}})\] donde \(\mathbf{\Sigma}_{\text{MCAR}}=\Lambda\otimes(\mathbf{D}-\rho\mathbf{W})^{-1}\) y \(\Lambda\) es una matriz de covarianza definida positiva que ajusta la correlación no espacial entre variables en cualquier región \(\mathbf{s}_i\), para \(i=1,\ldots,n\).
Diversas variaciones ha tenido el modelo. Leroux, Lei, y Breslow (2000) propusieron una distribución conjunta (bajo los supuestos adecuados) de los efectos espaciales dada por \[\boldsymbol{\phi} \sim \mathrm{N}\left(\mathbf{0},\left[\mathbf{Q}(\mathbf{W}, \rho) \otimes \mathbf{\Sigma}^{-1}\right]^{-1}\right)\] Aquí \(\mathbf{Q}(\mathbf{W}, \rho)=\rho[\operatorname{diag}(\mathbf{W} \mathbf{1})-\mathbf{W}]+(1-\rho) \mathbf{I}\) es la matriz de precisión, mientras que \(\mathbf{\Sigma}\) es una matriz de covarianza cruzada entre las variables.
Implementación
Para la aplicación se utilizó \(\texttt{R}\) siguiendo los lineamientos presentes en Banerjee, Carlin, y Gelfand (2003). El índice de Morán se encuentra en la librería \(\texttt{spdep}\) y la implementación del modelo MCAR será a través de un marco bayesiano debido a la estructura condicional explícita, como señalan Gelfand y Vounatsou (2003). Para ello, utilizaremos la librería \(\texttt{CARBayes}\) (Lee 2013). Se ajustó un modelo lineal suponiendo que \(Y_{kj}\sim N(\mu_{kj},\sigma_j^2)\) y \(\mu_{kj}=\mathbf{x}_k^{\top}\boldsymbol{\beta}_j+\phi_{kj}\), donde los efectos aleatorios espaciales siguen la estructura MCAR de Leroux.
Aplicación en la region de Valparaíso
Dada la poca cantidad de datos para realizar un análisis de caracter nacional, nos centraremos en la región de Valparaíso y sus comunas. Aplicaremos el modelo lineal anterior usando como variables explicativas:
Índice de pobreza (Ministerio de Desarrollo Social y Familia 2020) ajustado usando la metodología de áreas pequeñas (SAE, por su sigla en inglés). Se encarga de medir el porcentaje de personas en situación de pobreza por ingresos.
Índice de desarrollo comunal (Universidad Autonoma de Chile 2020) que otorga un puntaje a las comunas de Chile que varía entre 0 y 1 según sus condiciones económicas, educativas y de salud.
Puntaje PSU 2017 por comunas de la región que analiza el promedio de las pruebas de matemáticas y lenguaje .
Tasa de colegios particulares por número total de establecimientos educacionales, esto fue calculado usando datos oficiales de la biblioteca del congreso nacional de Chile.
Graficamente lo anterior se visualiza en la siguiente figura
IDP
IDC